(Información remitida por la empresa firmante)

-- Supermicro lanza tres superclústeres de IA generativa, de pila completa y listos para implementar, basados en NVIDIA, que escalan desde infraestructuras empresariales hasta grandes infraestructuras LLM

Los superclústeres de pila completa incluyen configuraciones de rack de inferencia a escala de nube y de capacitación refrigerados por aire y líquido con las últimas GPU NVIDIA Tensor Core, redes y software empresarial NVIDIA AI

SAN JOSÉ, California, 19 de marzo de 2024 /PRNewswire/ -- Supermicro, Inc. (NASDAQ: SMCI), un proveedor total de soluciones de TI para IA, nube, almacenamiento y 5G/Edge, anuncia su última cartera para acelerar la implementación de IA generativa. Las soluciones Supermicro SuperCluster proporcionan componentes básicos para el presente y el futuro de la infraestructura del modelo de lenguaje grande (LLM).

Las tres potentes soluciones Supermicro SuperCluster ahora están disponibles para cargas de trabajo de IA generativa. Los sistemas enfriados por líquido de 4U o los sistemas enfriados por aire de 8U están construidos y diseñados específicamente para un potente rendimiento de capacitación de LLM, así como para lotes de gran tamaño e inferencia de LLM de gran volumen. Un tercer SuperCluster, con sistemas Supermicro NVIDIA MGX™ de 1U refrigerados por aire, está optimizado para la inferencia a escala de nube.

"En la era de la IA, la unidad de computación ahora se mide por clústeres, no solo por la cantidad de servidores, y con nuestra capacidad de fabricación global ampliada de 5.000 racks/mes, podemos ofrecer clústeres completos de IA generativa a nuestros clientes más rápido que nunca", comentó Charles Liang, presidente y consejero delegado de Supermicro. "Un clúster de 64 nodos permite 512 GPU NVIDIA HGX H200 con 72 TB de HBM3e a través de un par de nuestros bloques de construcción de clúster escalables con redes NVIDIA Quantum-2 InfiniBand y Spectrum-X de 400 Gb/s Ethernet. Las soluciones SuperCluster de Supermicro combinadas con el software NVIDIA AI Enterprise son ideales para que las infraestructuras empresariales y de nube capaciten a los LLM de hoy con hasta billones de parámetros. Las GPU, CPU, memoria, almacenamiento y redes interconectadas, cuando se implementan en múltiples nodos en racks, construyen la base de la IA actual. Las soluciones SuperCluster de Supermicro proporcionan componentes básicos para la IA generativa y los LLM en rápida evolución".

Si desea conocer más acerca de Supermicro AI SuperClusters, visite: www.supermicro.com/ai-supercluster

"Las últimas tecnologías de GPU, CPU, redes y software de NVIDIA permiten a los fabricantes de sistemas acelerar una variedad de cargas de trabajo de IA de próxima generación para los mercados globales", afirmó Kaustubh Sanghani, vicepresidente de gestión de productos GPU de NVIDIA. "Al aprovechar la plataforma de computación acelerada de NVIDIA con productos basados en la arquitectura Blackwell, Supermicro proporciona a los clientes los sistemas de servidor de vanguardia que necesitan y que se pueden implementar fácilmente en centros de datos".

Los sistemas Supermicro 4U NVIDIA HGX H100/H200 8-GPU duplican la densidad del sistema refrigerado por aire de 8U mediante el uso de refrigeración líquida, lo que reduce el consumo de energía y el coste total de propiedad del centro de datos. Estos sistemas están diseñados para admitir las GPU basadas en la arquitectura NVIDIA Blackwell de próxima generación. La unidad de distribución de enfriamiento (CDU) y el colector (CDM) de Supermicro son las arterias principales para distribuir líquido enfriado a las placas frías personalizadas directas al chip (D2C) de Supermicro, manteniendo las GPU y CPU a una temperatura óptima, lo que resulta en el máximo rendimiento. Esta tecnología de refrigeración permite una reducción de hasta un 40% en los costes de electricidad para todo el centro de datos y ahorra espacio en el centro de datos. Obtenga más información sobre la tecnología de refrigeración líquida Supermicro: https://www.supermicro.com/en/solutions/liquid-cooling

Los sistemas equipados con 8 GPU NVIDIA HGX H100/H200 son ideales para entrenar IA generativa. Las GPU interconectadas de alta velocidad a través de NVIDIA® NVLink®, el alto ancho de banda de memoria de la GPU y la capacidad son clave para ejecutar modelos LLM de manera rentable. Supermicro SuperCluster crea un conjunto masivo de recursos de GPU que actúan como una única supercomputadora de IA.

Ya sea ajustando un enorme modelo básico entrenado en un conjunto de datos con billones de tokens desde cero o construyendo una infraestructura de inferencia LLM a escala de nube, la topología de red de columna y hoja con estructuras sin bloqueo de 400 Gb/s le permite escalar de 32 nodos a miles de nodos sin problemas. Con refrigeración líquida totalmente integrada, los procesos de prueba probados de Supermicro validan exhaustivamente la eficacia y eficiencia operativa antes del envío.

Los diseños del sistema NVIDIA MGX™ de Supermicro que incluyen los superchips NVIDIA GH200 Grace Hopper crearán un modelo para futuros clústeres de IA que aborden un cuello de botella crucial en la IA generativa: el ancho de banda de la memoria de la GPU y la capacidad para ejecutar modelos de lenguaje grande (LLM) con tamaños de lotes de alta inferencia para menores costes operativos. El clúster de 256 nodos permite una potencia de inferencia de alto volumen a escala de nube, fácilmente implementable y escalable.

SuperCluster con sistema de 4U enfriado por líquido en 5 racks o sistema de 8U enfriado por aire en 9 racks

256 GPU NVIDIA H100/H200 Tensor Core en una unidad escalable

Refrigeración líquida que permite 512 GPU, 64 nodos, en el mismo espacio que la solución de 256 GPU y 32 nodos enfriada por aire

20 TB de HBM3 con NVIDIA H100 o 36 TB de HBM3e con NVIDIA H200 en una unidad escalable

La red 1:1 ofrece hasta 400 Gbps a cada GPU para permitir que GPUDirect RDMA y almacenamiento entrenen modelos de lenguaje grandes con hasta billones de parámetros

Estructuras de conmutadores Ethernet 400G InfiniBand o 400GbE con topología de red de hoja espinal altamente escalable, incluidas NVIDIA Quantum-2 InfiniBand y NVIDIA Spectrum-X Ethernet Platform

Estructura de almacenamiento de canales de datos de IA personalizable con opciones de sistemas de archivos paralelos líderes en la industria

Software NVIDIA AI Enterprise 5.0, que proporciona soporte para los nuevos microservicios de inferencia NVIDIA NIM que aceleran la implementación de modelos de IA a escala

SuperCluster con sistema NVIDIA MGX de 1U refrigerado por aire en 9 racks

256 superchips Grace Hopper GH200 en una unidad escalable

Hasta 144 GB de HBM3e + 480 GB de memoria unificada LPDDR5X adecuada para inferencias a escala de nube, de gran volumen, de baja latencia y de gran tamaño de lote, capaz de ajustarse a un modelo de parámetros de más de 70 B en un nodo

Estructuras de conmutador Ethernet 400G InfiniBand o 400GbE con topología de red espinal altamente escalable

Hasta 8 dispositivos de almacenamiento NVMe E1.S integrados por nodo

Estructura de almacenamiento de canalización de datos de IA personalizable con DPU NVIDIA BlueField®-3 y opciones de sistemas de archivos paralelos líderes en la industria para brindar acceso de almacenamiento de alto rendimiento y baja latencia a cada GPU

Software NVIDIA AI Enterprise 5.0

(CONTINUA)